batch normalization

バッチ正規化(BN)を使わずとも重みの初期化だけで同程度の性能が出せるとした研究(画像分類/翻訳の双方で検証)。ResNet Blockは2ルートが合流する形をとるため基本分散が2倍となり勾配爆発が起こる。BNはブロック単位でこれを阻止するが、重みのスケーリングでこれを阻止する

バッチ正規化(BN)の効果について理論と実験双方から検証した研究。層を深くすることにより発生する勾配爆発は、BN単体では防げないことを示唆(Skip-connectionの併用が必要)。ただ、ネットワークの挙動を線形に近づけることで学習しやすくするなどのメリットがあるとのこと